Sumadi đã kết hôn và có một người con.[14] Ông có sở thích chơi bóng bàn và cho biết chơi bóng từ 15–30 phút mỗi sáng.[15] Ông cũng góp mặt trong một ban nhạc cùng các bộ trưởng khác trong nội các, với tên gọi là "Elek Yo Band", trong ban nhạc ông chơi guitar và đảm nhận việc hát.[16]

Ngày 14 tháng 3 năm 2020, trong đại dịch COVID-19 tại Indonesia, ông xét nghiệm dương tính với COVID-19.[17][18] Ngày 17 tháng 3, người phát ngôn của chính phủ về đại dịch coronavirus thông báo sức khỏe của ông đang dần cải thiện.[19]